iT邦幫忙

2021 iThome 鐵人賽

DAY 13
0

0. 進度條

模型 進度
VGG Net 完成
ResNet 完成
DensNet 完成
MobileNet 完成
EfficientNet 此篇

0.1 前言

你遇過以下幾種困擾嗎?
0
1

0.2 回憶當年...

在我初學神經網路的時候,
只會暴力地把模型加深,
然後期望梯度下降法幫我解決所有問題。
因為那時大家都在這麼做。

:喂喂 你能解決梯度消失的問題嗎?
:好像可耶
:太棒了! 我們再加深100層。
(ResNet-1001表示/images/emoticon/emoticon06.gif)

但是,Mingxing Tan 和 Quoc V. Le完全看不下去,
他們覺得現在大家瘋狂地加深網路根本拿石頭砸自己的腳,
就算Google研究團隊發表了一個1000萬層的網路,
然後說它有多好、多棒。
事實上,像你我一樣的小小研究員或是民間小公司,
根本就不可能有那樣的運算資源去訓練出跟Google一樣好的模型。
更別說他們有一堆我們拿不到的Data。

所以Mingxing Tan 和 Quoc V. Le重新思考模型縮放(Model Scaling)的意義,
然後提出一個超高效(efficient)的模型架構。

1. EfficientNet

這是EfficientNetB0架構,是B0~B7中最小的:
2
其中的MBConv6就是這個結構(如右圖):
"6"代表的是擴張通道數"6"倍。

3
從MBConv的結構可以看出它參考了深度可分離卷積直連通路的設計,
其實就是「M」o「B」ileNetV2的基礎架構啦:

  • 借鑑MobileNetV1: MBConv先透過PW卷積擴張通道數,再透過DW卷積和ReLU進行激活。
    (為何要擴張: 有一說是因為低通道數的特徵圖不適合使用ReLU激活)
  • 借鑑ResNet: 在layer input和layer output中間建立直連通路。
  • 調整輸出通道數: 透過PW卷積調整想要的通道數

1.1 神經網路架構搜尋(Network Architecture Search, NAS)

4

1.2 模型縮放

有三種方向做模型縮放:

  1. width: 卷積層通道數
  2. depth: 網路層數
  3. resolution: Input解析度
  4. compound scale: 混合縮放(此篇論文提出)
    5

1.3 如何同時對三個方向做縮放?

此論文提出一個方程式,
由4個參數組成:alpha, beta, gamma, phi,
分別代表depth, width, resolution和指數。
6
換句話說: 此方程式限制了三方向縮放的比例,
根據這個比例縮放的模型,
是最高效率的縮放方式!

/images/emoticon/emoticon33.gif

OS:
限制縮放比例也蠻合理的,
假如寬度、深度和解析度分別代表人類的頭、身體和腳掌,
那我們從小長到大絕對不會只長大一個部位,
如果我們頭大身體小,那一定很不健康。
但是以前的模型真的就是在深度上往死裡加大 XD

1.4 為什麼說是高效率的?

因為被拿來放大的模型(B0),
本身是在最佳化問題下用NAS找到的:
7


2. 結語

2.1

https://ithelp.ithome.com.tw/upload/images/20210920/20141294nfgMjG1TFr.jpg

2.2

https://ithelp.ithome.com.tw/upload/images/20210920/201412946W6h9XzPO3.jpg

2.3

https://ithelp.ithome.com.tw/upload/images/20210920/201412941Nq5DDvc0S.jpg


3. 附錄

https://ithelp.ithome.com.tw/upload/images/20210920/20141294zVawWrhPVj.jpg
圖片來源:https://www.jianshu.com/p/5449ce4de7cc


3. 參考資料

  1. https://arxiv.org/abs/1905.11946
  2. 這篇有大量投影片截圖,因為之前我有做簡報介紹EFN,所以就直接拿來用了。

上一篇
[Day 12] 從 tensorflow.keras 開始的 MobileNet 生活
下一篇
[Day 14] 用 MLFlow 記錄模型實驗,就。很。快
系列文
AI Facial Expression Recognition: Data, Model, Application30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言